- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据-BigData
Apache Druid介绍
什么是 Druid Apache Druid 是一个实时分析型数据库，旨在对大型数据集进行快速查询和分析（"OLAP" 查询)。 Druid 最常被当做数据库，用以支持实时摄取、高查询性能和高稳定运行的应用场景。 例如，Druid 通常被用来作为图形分析工具的数据源来提供数据，或当有需要高聚和高并发的后端 API。 同时 Druid 也非常适合针对面向事件类型的数据。 即使单个个 Druid 服务发生故障，你的数据也可以从深度存储中进行恢复。对于仅影响少数 Druid 服务的有限故障，保存的副本可确保在系统恢复期间仍然可以进行查询。 我应该在什么时候使用 Druid 许多公司都已经将 Druid 应用于多种不同的应用场景。请访问 使用 Apache Druid 的公司 页面来了解都有哪些公司使用了 Druid。
1.8K20编辑于 2022-09-16 - 来自专栏CWIKIUS
Apache Druid 是什么
Apache Druid 是一个高性能的实时分析型数据库。 Druid 的主要价值是能够减少检查和查找的时间。 Druid 的工作流被设计为能够快速进行查询并且能够对实时的情况进行分析。 Druid 具有非常强大的 UI 界面，能够让用户进行 即席查询（Ad-Hoc Query），或者能够处理高并发。 针对数据库仓库或一系列的用户使用案例，可以将 Druid 考虑为这些使用场景的开源解决方案。
85420发布于 2021-07-14 - 来自专栏Lansonli技术博客
大数据Apache Druid（三）：Druid集群搭建
：http://druid.apache.org/downloads.html选择具体的Druid安装包下载地址：https://archive.apache.org/dist/druid/这里我们下载 /apache-druid-0.21.1-bin.tar.gz 进入“/software/apache-druid-0.21.1/conf/druid/cluster/_common”配置common.runtime.properties /software/apache-druid-0.21.1/conf/druid/cluster/query/router/jvm.config-Xms512m-Xmx512m5、mysql中创建druid /apache-druid-0.21.1 node4:/software/[root@node3 software]# scp -r . /apache-druid-0.21.1 node5:/software/上传完成后，在node4,node5对应节点文件“/software/apache-druid-0.21.1/conf/druid
1.7K91编辑于 2022-08-19 - 来自专栏sowhat1412
Apache Druid历险记
注意：阿里巴巴也曾创建过一个开源项目叫作Druid（简称阿里Druid），它是一个数据库连接池的项目。阿里Druid和本文讨论的Druid没有任何关系，它们解决完全不同的问题。 Druid 架构 Druid为了实现海量数据实时分析采⽤了⼀些特殊的⼿段和⽐较复杂的架构，大致分两节分别介绍。 要做预聚合，Druid要求数据能够分为三个部分： Timestamp列：Druid所有分析查询均涉及时间（思考：时间实际上是⼀个特殊的维度，它可以衍⽣出一堆维度，Druid把它单列列出来了） Dimension Druid官方架构图 Druid核⼼架构中包括如下节点（Druid 的所有功能都在同⼀个包，通过不同的命令启动）： Coordinator: 负责集群 Segment 的管理和发布，并确保 Segment 参考 Druid官网：https://druid.apache.org 快手Druid实战：https://toutiao.io/posts/9pgmav/preview
1.4K30编辑于 2022-09-20 - 来自专栏Lansonli技术博客
大数据Apache Druid（六）：Druid流式数据加载
Druid流式数据加载一、Druid与Kafka整合1、使用webui加载Kafka数据Druid也可以与Kafka整合，直接读取Kafka中某个topic的数据在Druid Druid主页http://node5:8888,点击“Load data”标签：填写Kafka Server、Topic、点击“Parse data”:2、查询Druid中的数据点击 “Query”编写SQL ，查询DataSource “druid-topic”数据如下：向Kafka topic druid-topic中继续写入如下数据：{"data_dt":"2021-07-01T08 ：4、使用post方式加载Kafka数据由于前面已经使用Druid加载过当前Kafka“druid-topic”topic的数据，当停止Druid supervisors 中实时读取 datasource名称读取相同的Kafka topic时，会获取到该位置的offset信息，所以为了能从头消费Kafka中的数据，我们可以将mysql中“druid.druid_datasource”
65351编辑于 2022-08-22 - 来自专栏Lansonli技术博客
大数据Apache Druid（五）：Druid批量数据加载
Druid批量数据加载Druid支持流式和批量两种方式的数据摄入，流式数据是指源源不断产生的数据，数据会一直产生不会停止。批量数据是指已经生产完成的数据。 这两种数据都可以加载到Druid的dataSource中供OLAP分析使用。一、Druid加载本地磁盘文件1、使用webui加载本地数据Druid可以加载本地磁盘数据文件。 节点日志路径：/software/apache-druid-0.21.1/var/sv/coordinator-overlord.loghistorical服务日志路径：/software/apache-druid -0.21.1/var/sv/historical.logmiddleManager服务日志路径：/software/apache-druid-0.21.1/var/sv/middleManager.logbroker 服务日志路径:/software/apache-druid-0.21.1/var/sv/broker.logrouter服务日志路径：/software/apache-druid-0.21.1/var/
90441编辑于 2022-08-21 - 来自专栏Hadoop实操
0836-Apache Druid on HDP
作者：卢其敏 1.Apache Druid简介 Apache Druid是一个分布式的、面向列的、实时分析数据库，旨在快速获取大量数据并将其编入索引，并对大型数据集进行快速的切片和切分分析（“OLAP Apache Druid通常位于存储或处理层与最终用户之间，并充当查询层以服务于分析工作负载。 ? 云原生的容错架构，不会丢失数据 用于快速过滤的索引 基于时间的分区 近似算法 加载数据时自动汇总 2.Apache Druid架构 Apache Druid具有多进程，分布式架构，旨在实现云友好且易于操作 2.2.2 Metadata Storage Metadata Storage是Apache Druid的外部依赖项，Apache Druid使用它来存储有关系统的各种元数据，而不是存储实际数据。 2.2.3 Zookeeper Apache Druid使用Apache ZooKeeper（ZK）来管理当前集群状态，包含： Coordinator的Leader选举 Historical中Segment
1.5K20发布于 2021-04-30 - 来自专栏CWIKIUS
Apache Druid 能够支持即席查询
Druid 的查询能够很好的支持即席查询，但同时也带来一些复杂性和学习曲线。 https://www.ossez.com/t/apache-druid/13563
57620发布于 2021-07-16 - 来自专栏后端架构师
Apache Druid 底层的数据存储
❝ 导读：首先你将通过这篇文章了解到 Apache Druid 底层的数据存储方式。其次将知道为什么 Apache Druid 兼具数据仓库，全文检索和时间序列的特点。 ❞ 了解过 Apache Druid 或之前看过本系列前期文章的同学应该都知道 Druid 兼具数据仓库，全文检索和时间序列的能力。 那么为什么其可以具有这些能力，Druid 在实现这些能力时做了怎样的设计和努力？ Druid 的底层数据存储方式就是其可以实现这些能力的关键。 本篇文章将为你详细讲解 Druid 底层文件 Segment 的组织方式。 「带着问题阅读：」 Druid 的数据模型是怎样的？ Druid 维度列的三种存储数据结构如何？各自的作用？ Druid 是如何定位到一条数据的？详细流程是怎样的？ *请持续关注，后期将为你拓展更多知识。对 Druid 感兴趣的同学也可以回顾我之前的系列文章。
1.7K30发布于 2020-03-31 - 来自专栏Lansonli技术博客
大数据Apache Druid（一）：Druid简单介绍和优缺点
Druid简单介绍和优缺点一、什么是Apache DruidDruid（德鲁伊）是一个分布式的、支持实时多维 OLAP 分析、列式存储的数据处理系统，支持高速的实时数据读取处理、支持实时灵活的多维数据分析查询 在Druid数十台分布式集群中支持每秒百万条数据写入，对亿万条数据读取做到亚秒到秒级响应。此外，Druid支持根据时间戳对数据进行预聚合摄入和聚合分析，在时序数据处理分析场景中也可以使用Druid。 Druid官网地址：http://druid.apache.org/注意:阿里巴巴有个开源项目也叫Druid，是一个数据库连接池项目。这里说的Apache Druid与阿里巴巴的Druid没有关系。 二、Druid优缺点Druid有如下特点，也可以看做是Druid的优点：列式存储Druid使用面相列的存储，对于OLAP分析需要读取列分析的场景加快了速度，同时一列数据中有很多共性的数据，数据的压缩效果好 但是还有一些缺点，缺点如下：有限的join能力Druid适用于清洗好的数据实时写入，不需要更新数据，所以数据在写入Druid之前一般需要拉宽处理，在从Druid中查询数据时，直接查询这张宽表即可。
1.7K81编辑于 2022-08-17 - 来自专栏Lansonli技术博客
大数据Apache Druid（七）：Druid数据的全量更新
Druid数据的全量更新Druid中不支持对指定的数据进行更新，只支持对数据进行全量替换，全量替换的粒度是以Segment为标准。 举例说明如下：现在在Druid中Datasoure “mydruid_testdata”中目前的数据如下：SELECT __time, "count", item, loc, sum_amount , uidFROM mydruid_testdata我们可以在Druid webui中查看当前Datasource 对应的Segment信息，其对应的Segement在HDFS中的信息如下：我们想要替换 13"}{"data_dt":"2021-07-01T09:53:42.000Z","uid":"uid003","loc":"海南","item":"生鲜","amount":"14"}以上数据与目前Druid 当前Datasource中此Segment的数据完全不一样，然后，我们将对应的数据上传到node3、node4、node5某个新路径下，在Druid webui 页面上选择“Load Data”以加载磁盘数据方式将数据加载到
1.1K71编辑于 2022-08-23 - 来自专栏Lansonli技术博客
大数据Apache Druid（四）：使用Imply进行Druid集群搭建
使用Imply进行Druid集群搭建Imply基于Druid进行了一些组件的开发，是Druid的集成包，提供开源版本和商业版本，类似CDH一样，使安装Druid简化了部署，Imply也是Druid团队开发 druid.service=druid/overlord#配置overlord节点druid.host=node3druid.port=8090druid.indexer.queue.startDelay druid.service=druid/historical#配置Druid historical节点druid.host=node4druid.port=8083#配置Historical缓存内存，默认是 druid.service=druid/middlemanager#配置Druid middleManager节点druid.host=node4druid.port=80919、配置broker节点进入 druid.service=druid/router#配置Druid router节点druid.host=node5druid.port=888811、配置config.yaml进入“/software
80261编辑于 2022-08-20 - 来自专栏Lansonli技术博客
大数据Apache Druid（二）：Druid数据结构及架构原理
Druid数据结构及架构原理一、Druid数据结构Druid中的数据存储在datasource中，类似RDBMS中的table，每个datasource中按照时间划分，每个时间范围称为一个chunk( 在Druid中，如果只是追加数据，那么每个时间chunk只有一个版本，如果覆盖数据时，Druid会加载全部新数据生成一个新的版本号，然后会删除旧的Segment。 注意：单机运行Druid，Druid生成的Segment都在$DRUID_HOME/var/druid/segment目录下。 二、Druid架构原理下图是Druid的架构图，蓝色代表Druid服务，黄色代表Druid的进程，每个进程所在的节点我们也可以称为当前进程节点，例如：Borker进程所在节点，可以称为该节点为Broker 整体来看Druid可以分为四类节点和三个依赖。
1.4K61编辑于 2022-08-18 - 来自专栏Shopee技术实践
Apache Druid 在 Shopee 的工程实践
[ ] 摘要 Apache Druid 是一款高性能的开源时序数据库，它适用于交互式体验的低延时查询分析场景。 本文将主要分享 Apache Druid 在支撑 Shopee 相关核心业务 OLAP 实时分析方面的工程实践。 随着 Shopee 业务不断发展，越来越多的相关核心业务愈加依赖基于 Druid 集群的 OLAP 实时分析服务，越来越严苛的应用场景使得我们开始遇到开源项目 Apache Druid 的各种性能瓶颈。 社区合作 我们已经把这个优化贡献给 Apache Druid 社区，详见 PR。 参考链接 Apache Druid Reduce method invocation of reservoir sampling Add segment merged result cache for
1K30编辑于 2022-02-07 - 来自专栏Hadoop实操
Apache Druid 0.15.0版本发布
与往常一样，请访问Apache Druid下载页面以获取该软件和发行说明。 如果您现在就要对接这些实时数据，可以参考使用Apache Druid Kafka Indexing Service或其他Druid的服务来完成实时数据的加载。 02 Druid 的 SQL 能力的增强 Apache Druid在0.10.0版本推出了实验性的Druid SQL, 现在它可以作为一个标准的查询接口，你几乎可以抛弃以往的使用Druid经典查询方法( 参考文章： 【1】《Apache Druid-0.15.0-incubating release notes》 https://github.com/apache/incubator-druid/releases 【2】《Introducing Apache Druid 0.15.0》 https://imply.io/post/announcing-druid-0.15.0 【3】《Apache Druid
2.4K10发布于 2019-07-15 - 来自专栏Lansonli技术博客
大数据Apache Druid（八）：Druid JDBC API和其他OLAP分析框架对比
Druid JDBC API和其他OLAP分析框架对比一、Druid JDBC API在大数据处理场景中，我们可以编写接口来读取Druid中的数据进行聚合操作，以供可视化展示使用。 下面使用jdbc的方式来读取Druid中的数据。 1、首先需要在maven项目中导入Druid的依赖<dependency> <groupId>org.apache.calcite.avatica</groupId> <artifactId>avatica-core </artifactId> <version>1.15.0</version></dependency>2、编写代码读取Druid中的数据/** * 使用JDBC的方式连接Druid */public class ReadDruidData { public static void main(String[] args) throws SQLException { //1.连接Druid
50851编辑于 2022-08-24 - 来自专栏Timeline Sec
CVE-2021-25646：Apache Druid RCE复现
0x02 漏洞概述 编号：CVE-2021-25646 Apache Druid 包括执行用户提供的 JavaScript 的功能嵌入在各种类型请求中的代码。 但是，在 Druid 0.20.0 及更低版本中，经过身份验证的用户可以构造传入的json串来控制一些敏感的参数发送恶意请求，利用 Apache Druid 漏洞可以执行任意代码。 0x03 影响版本 Apache Druid < 0.20.1 0x04 环境搭建 Apache Druid:0.16.0 参考现有的低版本druid docker pull fokkodriesprong 0x07 修复方式 升级Apache Druid 到最新的版本 对Apache Druid进行权限控制，只允许受信任的主机访问集群服务器 参考链接： https://github.com/Fokko/ docker-druid https://druid.apache.org/docs/latest/tutorials/index.html
2.4K10发布于 2021-03-04 - 来自专栏大数据成神之路
实时统计分析系统-Apache Druid
Druid简介： Druid是一个为在大数据集之上做实时统计分析而设计的开源数据存储。 其中的分布式和查询模型都参考了当前的一些搜索引擎的基础架构. druid的一些特点: Druid是一个开源的，分布式的，列存储的，适用于实时数据分析的系统，文档详细，易于上手,Druid的一些特性总结如下 ； Druid的高可用性和高扩展性,Druid采用分布式,SN(share-nothing)架构,管理类节点可配置HA,工作节点功能单一,不互相依赖,耦合性低,各种节点挂掉都不会使Druid停止工作,例如如果不需要 Druid还包含3个外部依赖,与其说是依赖,不如说正式Druid开放的架构,用户可以根据自己的需求使用不同的外部组建 Mysql：存储Druid中的各种metadata（里面的数据都是Druid自身创建和插入的 ），在Druid_0.9.1.1版本中，元信息库druid主要包含十张表，均以“druid_”开头,例如张表：”druid_config”（通常是空的）, “druid_rules”（coordinator
2.6K20发布于 2020-06-04 - 来自专栏后端架构师
Apache Druid 的集群设计与工作流程
Apache Druid 的集群设计与工作流程 导读：本文将描述 Apache Druid 的基本集群架构，说明架构中各进程的作用。并从数据写入和数据查询两个角度来说明 Druid 架构的工作流程。 Druid 使用 Deep Storage 存储写入集群的数据。 Druid 仅将 Deep Storage 用作数据的备份，并作为 Druid进程间在后台的数据传输方式。 Deep Storage 是 Druid 弹性、容错设计的重要组成部分。如果 Druid 单机进程本地数据丢失，可以从 Deep Storage 恢复数据。 在单机部署中，通常使用本地存储，如 Apache Derby 数据库。 Zookeeper 用来进行内部服务发现，协调和主选举。 一旦 Druid 知道哪些行与特定查询匹配，它就只会访问该查询所需的特定列。在这些列中，Druid 可以在行与行之间跳过，从而避免读取与查询过滤器不匹配的数据。
1.2K20发布于 2020-03-24 - 来自专栏Jack的CVE漏洞复现
CVE-2021-25646，Apache Druid 代码执行漏洞
一、CVE-2021-25646，Apache Druid 代码执行漏洞! quote 参考文档https://app.nextcyber.cn/courses/45/tasks/588（一）漏洞条件Apache Druid包括执行嵌入在各种类型请求中的用户提供的JavaScript 然而，在Druid 0.20.0及以前的版本中，攻击者可以通过发送一个恶意请求使Druid用内置引擎执行任意JavaScript代码，而不管服务器配置如何，这将导致代码和命令执行漏洞。 （二）漏洞原理Apache Druid 的 JavaScript 解析功能存在权限校验绕过缺陷。 flowchart TD A[攻击者构造恶意POST请求] -->|包含恶意JavaScript代码| B[发送请求至Druid服务端:/druid/indexer/v1/sampler]
16500编辑于 2025-10-16
腾讯云开发者
